#Knowledge Injection

5 篇

Deep Fusion Memory: A Chunk-Level Parametric Memory for Large Language Models

深度融合记忆：大语言模型的块级参数化记忆

🧭 参数化记忆 · 隐藏层深度融合

LUMIA Lab, Shanghai Jiao Tong University · Shanghai Artificial Intelligence Laboratory

提出块级参数化记忆DFM，训练数据构造检索量降低32倍，并深度融合进隐藏状态，无需在线检索

📌 工作参考价值（5 点）

### 对电商 / 广告 / Agent 的可借鉴点
在电商导购、广告文案或客服 Agent 中，需要给 LLM 注入领域知识（商品库、活动政策、广告规范）。DFM 提供一种冻结主干的参数化记忆方案：推理时无显式检索步骤，延迟低，比 RAG 更适合高 QPS 线上场景；可训练轻量 memory predictor + fusion 模块，把领域知识压缩进隐藏状态。
块级记忆监督是关键技巧：用 chunk embedding 作为预测目标，而非 token 级目标，训练数据构造的检索 query 可减少 32×、检索条目减少 2048×。业务数据量大、离线检索成本敏感时，优先考虑把知识切块并做块级记忆，能大幅降低知识注入成本。
门控 cross-attention 融合比输出层插值更深，能让知识影响中间表征；工程上可只插入少数层，冻结原模型，避免灾难性遗忘。适合给已有的推荐/Agent 底座模型做领域适配而不破坏通用能力。
可迁移到实时交互场景：让 memory predictor 根据对话或行为前文预测 chunk 级记忆，动态融合到解码过程，省去显式检索模块，简化架构并降低运维复杂度。

LLM | 2026-10-17 | HF Daily | score 7/10

文档应该存在哪里：上下文、表示还是参数？

🧭 知识注入位置对比 · KV vs LoRA ★ 深度解读

Amazon AGI

系统对比知识注入三种位置，Cartridges(KV)在多文档检索中唯一匹配 ICL，但高压缩下有遗忘

📌 工作参考价值（4 点）

电商/搜索的高频文档（商品详情、活动规则、广告素材）可以预计算成 KV-cache adapter（Cartridge）在线复用，避免每次查询重复 prefill 原文；20× 压缩下加载 10 个 adapter 约 30–50ms，10× token 减少约带来 100× prefill FLOPs 下降，适合低延迟在线服务。
多文档组合场景下，不要用「每个文档训一个 LoRA 再合并」替代检索，尤其信息密集任务；论文显示一个 distractor 就能让合并效果崩溃（FinQA k=3 时 34.5→4.9）。若必须用参数化方式，joint training 优于 adapter merging，但仍不如可拼接的 KV-cache。
训练知识注入 adapter 时，用蒸馏目标（teacher = 原文 in context，student = adapter）比普通 next-token CE 平均高 4 个点，在数值推理/金融类任务上收益更大；可直接迁移到商品属性提取、活动规则问答等场景。
上线前要评估通用能力退化：LoRA 低秩约束更稳，full FT 和大 MLP adapter 遗忘严重；如果使用 Cartridge，可考虑用 Compaction 初始化 KV cache 来缓解 HumanEval 类代码能力下降（论文中下降了 16 点）。

RAG | 2026-09-15 | cs.CL | score 8/10

超网络向大语言模型注入知识的规模法则

🧭 超网络训练时知识注入 · 规模法则

Nace AI · Purdue University

发现超网络生成 LoRA 适配器进行知识注入的损失、准确率和 OOD 泛化遵循幂律缩放规律

📌 工作参考价值（4 点）

超网络生成个性化适配器：在推荐系统中，可为不同用户群或内容品类训练超网络，动态生成轻量 LoRA 适配器，实现高效、可扩展的定向知识更新，无需重新全量微调。
解耦设计便于工程拆分：将知识注入容量与主模型能力解耦，允许单独扩展超网络（深度/宽度）而不影响线上推理成本，适合频繁更新的电商知识库（如商品属性、活动规则）。
利用规模法则指导资源分配：论文给出的预测性规模曲线可作为经验指南，在算力有限时权衡超网络深度、宽度和目标模型大小，快速找到性价比最优的配置。
OOD 泛化优势用于冷启动：超网络注入在 OOD 场景（未见实体/关系）的缩放指数更陡，可迁移到新品推荐或冷门 category 的知识覆盖，比直接 LoRA 微调更可靠。

Training | 2026-07-20 | HF Daily | score 6/10

解耦混合专家架构用于参数化知识注入

🧭 LLM 知识注入 · 解耦 MoE · 参数化专家 ★ 深度解读

Tsinghua University

提出解耦混合专家 (DMoE)，把外部知识模块化为独立 LoRA 专家，通过不确定性路由选择性激活并保持 KV-cache 复用，实现高效可更新的知识注入。

📌 工作参考价值（4 点）

电商知识热更新：商品属性、活动规则频繁变化，可借鉴 DMoE 的解耦专家模块独立更新，无需重训基座模型，新增知识只需训练对应 LoRA 并加入索引，避免灾难性遗忘。
Agent 技能/知识模块化：可将不同领域的工具调用知识、业务规则训练为独立专家，通过 BM25 路由按需激活，结合不确定性触发实现 agent 的动态知识组合与按需注入，保持缓存复用降低推理延迟。
推荐系统知识增强：用户画像、物品属性知识可封装为独立适配器，注入最后层 FFN，不干扰基础推荐能力；能够离线存储大量专家，仅加载 top-k 激活，大幅降低 GPU 内存占用，适合大规模在线服务场景。
低开销的缓存友好设计：专家只挂在最后一层前馈网络，避免破坏 KV-cache，使动态知识注入的推理代价远低于 FLARE 等上下文改写方法，可直接应用于对实时性要求高的电商对话或推荐解释生成。

LLM | 2026-06-12 | cs.CL | score 8/10

NGM：即插即用、无需训练的LLM记忆模块

🧭 LLM记忆增强 · 训练无关即插即用

Nanjing University

提出训练无关的N-gram记忆模块，通过平均token嵌入构建表示并用余弦门控注入，显著提升代码和知识密集型任务性能。

📌 工作参考价值（4 点）

LLM | 2026-05-15 | HF Daily | score 7/10